Каштру-Дайре розташоване на півночі Португалії, на заході округу Візеу.
Каштру-Дайре межує на півночі з муніципалітетамиі , на сході — з муніципалітетом , на півдні — з муніципалітетом , на південному заході — з муніципалітетом , на заході — з муніципалітетом.